"""
    为什么要反扒：
    1- 数据型公司以数据值钱，不想被获取，保持公司竞争力
    2- 爬虫占取服务器资源多线程请求，影响用户体验

    反扒手段：
    1- 判明用户身份：cookie(不建议使用，易封号), user-agent, refer,还有验证码
    2- 分析用户行为：通过一定时间段内并发量识别， 在线活动时间，隐藏标签(供正则匹配，一旦正则匹配到该链接说明是爬虫)

    反反扒：
    1= 设置user-agent，refer
    2- 减少并发量，设置延迟时间等等settings中设置download_delay = 5 表示5s
    3- ip代理池
"""